In biomedical image analysis, the applicability of deep learning methods is directly impacted by the quantity of image data available. This is due to deep learning models requiring large image datasets to provide high-level performance. Generative Adversarial Networks (GANs) have been widely utilized to address data limitations through the generation of synthetic biomedical images. GANs consist of two models. The generator, a model that learns how to produce synthetic images based on the feedback it receives. The discriminator, a model that classifies an image as synthetic or real and provides feedback to the generator. Throughout the training process, a GAN can experience several technical challenges that impede the generation of suitable synthetic imagery. First, the mode collapse problem whereby the generator either produces an identical image or produces a uniform image from distinct input features. Second, the non-convergence problem whereby the gradient descent optimizer fails to reach a Nash equilibrium. Thirdly, the vanishing gradient problem whereby unstable training behavior occurs due to the discriminator achieving optimal classification performance resulting in no meaningful feedback being provided to the generator. These problems result in the production of synthetic imagery that is blurry, unrealistic, and less diverse. To date, there has been no survey article outlining the impact of these technical challenges in the context of the biomedical imagery domain. This work presents a review and taxonomy based on solutions to the training problems of GANs in the biomedical imaging domain. This survey highlights important challenges and outlines future research directions about the training of GANs in the domain of biomedical imagery.

Artificial intelligence methods including deep neural networks (DNN) can provide rapid molecular classification of tumors from routine histology with accuracy that matches or exceeds human pathologists. Discerning how neural networks make their predictions remains a significant challenge, but explainability tools help provide insights into what models have learned when corresponding histologic features are poorly defined. Here, we present a method for improving explainability of DNN models using synthetic histology generated by a conditional generative adversarial network (cGAN). We show that cGANs generate high-quality synthetic histology images that can be leveraged for explaining DNN models trained to classify molecularly-subtyped tumors, exposing histologic features associated with molecular state. Fine-tuning synthetic histology through class and layer blending illustrates nuanced morphologic differences between tumor subtypes. Finally, we demonstrate the use of synthetic histology for augmenting pathologist-in-training education, showing that these intuitive visualizations can reinforce and improve understanding of histologic manifestations of tumor biology.

最近在视觉跟踪中成功的关键因素之一是专用基准的可用性。尽管对跟踪研究有很大的受益，但现有的基准并没有与以前相同的难度，而最近的跟踪器的性能则主要是由于（i）引入了更复杂的基于变形金刚的方法，并且（ii）缺乏各种情况，因此缺乏各种情况。不良的可见性，例如恶劣的天气条件，伪装和成像效应。我们介绍了Avist，这是一个专门的基准，用于在具有不良可见性的不同情况下进行视觉跟踪。 Avist包括120个具有80k注释框架的具有挑战性的序列，涵盖了18种不同的方案，这些场景大致分为五个具有42个对象类别的属性。远景的主要贡献是涵盖恶劣天气条件的多样化和挑战性的情况，例如浓雾，大雨和沙尘暴；阻塞效应，包括火，阳光和溅水；不利成像效应，例如，低光；目标效应，包括小目标和干扰物对象以及伪装。我们进一步基准了17个关于Avist的流行和最新跟踪器，对它们跨属性的跟踪性能进行了详细分析，这表明了性能改善的巨大空间。我们认为，远景可以通过补充现有的基准，开发新的创意跟踪解决方案，以继续推动最先进的界限，从而极大地使跟踪社区受益。我们的数据集以及完整的跟踪性能评估可在以下网址提供：https：//github.com/visionml/pytracking

亚细胞蛋白的自动视觉定位可以加速我们对健康和疾病中细胞功能的理解。尽管机器学习最近取得了进步（ML），但人类仍然通过使用各种视觉提示获得了卓越的准确性。我们通过解决三个关键方面可以缩小这一差距：（i）单元注释质量的自动改善，（ii）支持不平衡和嘈杂数据的新的深神经网络（DNN）体系结构，以及（iii）知情的选择和融合。多种机器学习模型。我们介绍了一种新的``Ai-Trains-ai''方法，用于提高弱标签的质量，并提出了利用小波过滤器和Weibull激活的新型DNN体系结构。我们还通过分析图像级和细胞级预测之间的相关性来探索多-DNN结合过程中的关键因素。最后，在人类蛋白质地图集的背景下，我们证明了我们的系统在多标签的单细胞单细胞分类中实现了蛋白质定位模式的最新性能，同时增强了概括能力。

通过提取和利用来自异构信息网络（HIN）的高阶信息的提取和利用模拟异质性，近年来一直在吸引巨大的研究关注。这种异构网络嵌入（HNE）方法有效地利用小规模旋流的异质性。然而，在现实世界中，随着新节点和不同类型的链路的连续引入，何种素数量呈指数级增长，使其成为十亿尺度的网络。在这种关链接上的学习节点嵌入式为现有的HNE方法进行了性能瓶颈，这些方法通常是集中的，即完成数据，并且模型都在单机上。为了满足强大的效率和有效性保障的大型HNE任务，我们呈现\纺织{分散嵌入框架的异构信息网络}（Dehin）。在Dehin中，我们生成一个分布式并行管道，它利用超图来注入到HNE任务中的并行化。 Dehin呈现了一种上下文保留的分区机制，可创新地将大HIN作为超图制定，其超高频连接语义相似的节点。我们的框架然后采用分散的策略来通过采用类似的树形管道来有效地分隔帖。然后，每个结果的子网被分配给分布式工作人员，该工作者采用深度信息最大化定理，从其接收的分区本地学习节点嵌入。我们进一步设计了一种新颖的嵌入对准方案，将独立学习的节点嵌入从所有子网嵌入到公共向量空间上的新颖嵌入对准方案，从而允许下游任务等链路预测和节点分类。

强化学习（RL）使代理能够学习如何从头开始执行各种任务。在自动驾驶，推荐系统等域中，更优化的RL政策如果政策记住私人奖励的任何部分，则会促使隐私违约。我们研究了来自各种RL算法的现有差异私有RL策略，例如价值迭代，深Q网络和vanilla近端策略优化。我们提出了一种新的隐私感知逆RL（PRIL）分析框架，该框架执行奖励重建作为代理人可以部署的私人政策的对抗攻击。为此，我们介绍了奖励重建攻击，其中我们寻求使用逆RL算法从隐私保留策略重建原始奖励。如果代理商使用紧密私人政策，对手必须在重建原始奖励函数时进行糟糕。使用本框架，我们经验测试私有算法提供的隐私保证的有效性在不同复杂性的冻结领域的多个实例上。基于进行的分析，我们推断了所提供的目前的隐私标准与保护奖励函数所需的标准之间的差距。我们通过量化每个私营策略通过测量原始和重建奖励之间的距离来保护奖励功能的程度来实现。